Andropov quay trở lại Moskva để lãnh đạo Sở Liên lạc với các Đảng Cộng sản và Công nhân tại các Quốc gia Xã hội chủ nghĩa (1957–1967). Năm 1961, ông được bầu làm thành viên đầy đủ của Uỷ ban Trung ương Đảng Cộng sản Liên xô và được thăng chức Thư ký Uỷ ban Trung ương Đảng Cộng sản Liên xô năm 1962. Năm 1967, ông được ngừng các công việc trong Uỷ ban Trung ương và được chỉ định làm lãnh đạo KGB theo đề xuất của Mikhail Suslov.

Trấn áp phong trào Mùa xuân Praha

Trong các sự kiện Mùa xuân Praha tại Tiệp Khắc, Andropov là người đề xướng chính cho các "biện pháp cực đoan". Ông đã ra lệnh tạo ra những thông tin tình báo giả không chỉ để công bố ra công chúng, mà cho cả Bộ chính trị Liên xô. "KGB tạo ra sự sợ hãi rằng Tiệp Khắc có thể trở thành một nạn nhân của sự gây hấn của NATO hay một cuộc đảo chính".[5] Ở thời điểm này, sĩ quan tình báo Liên Xô Oleg Kalugin thông báo từ Washington rằng ông đã tiếp cận được "những tài liệu rất đáng tin cậy cho thấy cả CIA cũng như bất cứ một cơ quan nào khác không xúi giục phong trào cải cách Tiệp Khắc".[5] Tuy nhiên, thông tin của ông đã bị huỷ bỏ bởi nó trái ngược với lý thuyết âm mưu do Andropov tạo ra.[5] Andropov đã ra lệnh một số biện pháp tích cực, được gọi là chiến dịch PROGRESS, chống những nhà cải cách Tiệp Khắc.

Trấn áp phong trào bất đồng tại Liên Xô

Cá nhân Andropov bị ám ảnh với "việc tiêu diệt phong trào bất đồng dưới mọi hình thức của nó" và luôn nhấn mạnh rằng "cái gọi là cuộc đấu tranh cho nhân quyền thực ra là một phần của âm mưu rộng lớn của chủ nghĩa đế quốc nhằm phá hoại nền tảng của nhà nước Xô viết".[5] Năm 1968 ông phát hành một chỉ thị của Chủ tịch KGB "Về những trách nhiệm của các cơ quan an ninh Nhà nước trong việc chiến đấu với sự phá hoại lý tưởng của kẻ địch", kêu gọi đấu tranh chống lại những người bất đồng và "những tên đế quốc quan thầy của chúng". Cuộc trấn áp dữ dội những người bất đồng[6][7] gồm các kế hoạch làm thương tật vũ công Rudolf Nureyev, người đã đào tẩu năm 1961.

Năm 1973, Andropov hoàn toàn trở thành một thành viên của Bộ chính trị.Andropov đóng vai trò quan trọng trong quyết định tiến đánh Afghanistan năm 1979. Ông nhấn mạnh vào cuộc tấn công, dù mong đợi rằng cộng đồng quốc tế sẽ lên án Liên Xô vì hành động này;[8] quyết định dẫn tới cuộc Chiến tranh Xô viết tại Afghanistan (1979 - 1988).

Andropov là chủ tịch lâu nhất của KGB và không từ chức vụ này cho mãi tới tháng 5 năm 1982, khi ông một lần nữa trở thành Thư ký kế vị Mikhail Suslov chịu trách nhiệm về các vấn đề ý thức hệ.Hai ngày sau khi Brezhnev qua đời, ngày 12 tháng 11 năm 1982, Andropov được bầu làm Tổng bí thư Đảng Cộng sản Liên Xô là cựu lãnh đạo đầu tiên của KGB trở thành Tổng bí thư. Việc chỉ định ông bị phương Tây lo ngại, bởi những vai trò của ông trong KGB và tại Hungary. Ở thời điểm ấy, thông tin cá nhân của ông vẫn là một bí ẩn ở phương Tây, và nhiều tờ báo lớn in tiểu sử chi tiết của ông một cách mâu thuẫn và trong nhiều trường hợp là bịa đặt.[9]